How do we know when the predictions made by a classifier can be trusted? This is a fundamental problem that also has immense practical applicability, especially in safety-critical areas such as medicine and autonomous driving. The de facto approach of using the classifier's softmax outputs as a proxy for trustworthiness suffers from the over-confidence issue; while the most recent works incur problems such as additional retraining cost and accuracy versus trustworthiness trade-off. In this work, we argue that the trustworthiness of a classifier's prediction for a sample is highly associated with two factors: the sample's neighborhood information and the classifier's output. To combine the best of both worlds, we design a model-agnostic post-hoc approach NeighborAgg to leverage the two essential information via an adaptive neighborhood aggregation. Theoretically, we show that NeighborAgg is a generalized version of a one-hop graph convolutional network, inheriting the powerful modeling ability to capture the varying similarity between samples within each class. We also extend our approach to the closely related task of mislabel detection and provide a theoretical coverage guarantee to bound the false negative. Empirically, extensive experiments on image and tabular benchmarks verify our theory and suggest that NeighborAgg outperforms other methods, achieving state-of-the-art trustworthiness performance.
translated by 谷歌翻译
旨在识别不同网络中的相应节点的网络对齐任务对许多随后的应用程序具有重要意义。不需要标记的锚点链接,无监督的对准方法吸引了越来越多的关注。但是,由现有方法定义的拓扑一致性假设通常是低阶且准确的,因为仅考虑边缘式拓扑模式,这在无监督的环境中尤其有风险。为了重新定位对齐过程从低阶到高阶拓扑一致性的重点,在本文中,我们提出了一个名为HTC的完全无监督的网络对齐框架。提出的高阶拓扑一致性是基于边缘轨道制定的,将其合并到图形卷积网络的信息聚合过程中,以便将对齐一致性转换为节点嵌入的相似性。此外,编码器经过培训为多轨了解,然后进行完善以识别更受信任的锚点链接。通过整合所有不同的一致性顺序,可以全面评估节点对应关系。 {除了合理的理论分析外,所提出方法的优越性还通过广泛的实验评估得到了经验证明。在三对现实世界数据集和两对合成数据集上,我们的HTC始终以最少或可比的时间消耗优于各种各样的无监督和监督方法。由于我们的多轨道感知训练机制,它还表现出对结构噪声的鲁棒性。
translated by 谷歌翻译
随着视频数量的越来越多,对技术的需求很大,可以帮助人们迅速导航到他们感兴趣的视频片段。但是,当前的视频理解主要理解主要是视频内容摘要,而几乎没有努力,而对探索视频的结构。受文本轮廓生成的启发,我们介绍了一项新颖的视频理解任务,即视频大纲生成(VOG)。该任务定义为包含两个子任务:(1)首先根据内容结构对视频进行分割,然后(2)为每个段生成一个标题。要学习和评估VOG,我们注释了一个10K+数据集,称为Duvog。具体来说,我们使用OCR工具来识别视频的字幕。然后,要求注释者将字幕分为章节,并将每个章节分为标题。在视频中,突出显示的文本往往是标题,因为它更有可能引起人们的注意。因此,我们提出了一个视觉字幕功能增强的视频大纲生成模型(VSENET),该模型将文本字幕及其视觉字体大小和位置作为输入。我们将VOG任务视为一个序列标记问题,该问题提取了跨标题的位置,然后将其重写以形成最终大纲。此外,基于视频概述和文本概述之间的相似性,我们使用大量文章带有章节标题来预先我们的模型。 Duvog上的实验表明,我们的模型在很大程度上胜过其他基线方法,对于视频分割水平达到了77.1的F1得分,对于标题生成级别的Rouge-L_F0.5的85.0。
translated by 谷歌翻译
开放信息提取是一个重要的NLP任务,它针对从非结构化文本中提取结构化信息的目标,而无需限制关系类型或文本域。该调查文件涵盖了2007年至2022年的开放信息提取技术,重点是以前的调查未涵盖的新模型。我们从信息角度来源提出了一种新的分类方法,以适应最近的OIE技术的开发。此外,我们根据任务设置以及当前流行的数据集和模型评估指标总结了三种主要方法。鉴于全面的审查,从数据集,信息来源,输出表格,方法和评估指标方面显示了几个未来的方向。
translated by 谷歌翻译
包含多种类型的节点和边缘的异质图在各种领域都普遍存在,包括书目网络,社交媒体和知识图。作为分析异质图的基本任务,相关度量旨在计算不同类型的两个对象之间的相关性,这些对象已在许多应用程序中使用,例如Web搜索,建议和社区检测。大多数现有的相关性措施都集中在对象具有相同类型的均质网络上,并为异质图制定了一些措施,但它们通常需要预定义的元路径。定义有意义的元路径需要大量的领域知识,这在很大程度上限制了其应用,尤其是在诸如知识图之类的图形富含模式的异质图上。最近,图形神经网络(GNN)已被广泛应用于许多图挖掘任务,但尚未用于测量相关性。为了解决上述问题,我们提出了一种基于GNN的新型相关性措施,即GSIM。具体而言,我们首先是理论上分析的,并表明GNN有效地测量图中节点的相关性。然后,我们建议基于上下文路径的图形神经网络(CP-GNN)自动利用异质图中的语义。此外,我们利用CP-GNN来支持任何类型的两个对象之间的相关性度量。广泛的实验表明,GSIM优于现有措施。
translated by 谷歌翻译
虽然对图像背景恢复的研究从常规大小的降级图像恢复已经取得了显着的进步,但由于计算复杂性和记忆使用情况的爆炸式增长以及缺陷,恢复超高分辨率(例如4K)图像仍然是一项极具挑战性的任务。带注释的数据。在本文中,我们提出了一种用于超高分辨率图像恢复的新型模型,称为全局逐步生成网络(GLSGN),该模型采用涉及四个恢复途径的逐步恢复策略:三个局部途径和一条全球途径。本地途径着重于以局部但高分辨率的图像贴片的细粒度进行图像恢复,而全球途径则在缩放尺寸但完整的图像上执行图像恢复,以在全球视图中为本地途径提供线索包括语义和噪声模式。为了平滑这四个途径之间的相互协作,我们的GLSGN旨在确保在低级内容,感知注意力,恢复强度和高级语义方面的四个方面的跨道路一致性。作为这项工作的另一个主要贡献,我们还介绍了迄今为止的第一个超高分辨率数据集,以删除反射和降雨条纹,包括4,670个现实世界和合成图像。跨三个典型的图像背景修复任务进行的广泛实验,包括删除图像反射,删除图像雨条和图像去悬来表明我们的GLSGN始终优于最先进的方法。
translated by 谷歌翻译
典型的文本检测器遵循两阶段的发现策略:首先检测文本实例的精确边界,然后在定期的文本区域内执行文本识别。尽管这种策略取得了实质性进展,但有两个基本的局限性。 1)文本识别的性能在很大程度上取决于文本检测的精度,从而导致从检测到识别的潜在误差传播。 2)桥接检测和识别的ROI种植会带来背景的噪音,并在合并或从特征地图中插值时导致信息丢失。在这项工作中,我们提出了单个镜头自力更生的场景文本sottter(SRSTS),该场景通过将识别解除识别来规避这些限制。具体而言,我们并行进行文本检测和识别,并通过共享的积极锚点架起它们。因此,即使确切的文本边界要检测到具有挑战性,我们的方法也能够正确识别文本实例。此外,我们的方法可大大降低文本检测的注释成本。在常规基准和任意形状的基准上进行了广泛的实验表明,就准确性和效率而言,我们的SRST与以前的最先进的观察者相比有利。
translated by 谷歌翻译
在安全 - 关键的深度学习应用中,鲁棒性测量是一个至关重要的前部阶段。但是,现有的鲁棒性验证方法对于在现实世界中部署机器学习系统不足以实用。一方面,这些方法试图声称没有扰动可以``傻瓜''深神经网络(DNNS),这在实践中可能太严格了。另一方面,现有作品严格考虑像素空间上的$ l_p $有界的添加剂扰动,尽管扰动(例如颜色转换和几何变换)在现实世界中更实际且经常发生。因此,从实际的角度来看,我们提出了一种基于适应性浓度的新颖和一般{\ IT概率的稳健性评估方法}(ProA),并且可以测量深度学习模型对功能扰动的鲁棒性。 PROA可以根据模型的概率鲁棒性提供统计保证,\ textit {i.e。},部署后训练有素的模型遇到的失败概率。我们的实验证明了PAA在评估对广泛功能扰动的概率鲁棒性方面的有效性和灵活性,并且与现有的最新基准相比,POA可以很好地扩展到各种大型深度神经网络。为了重现性,我们在github上发布工具:\ url {https://github.com/trustai/proa}。
translated by 谷歌翻译
随着交通预测技术的发展,时尚预测模型引起了学术界社区和工业的越来越多。然而,大多数现有的研究侧重于减少模型的预测误差,而是忽略由区域内空间事件的不均匀分布引起的错误。在本文中,我们研究了区域分区问题,即最佳网格尺寸选择问题(OGSS),其目的是通过选择最佳网格尺寸来最小化时空预测模型的真正误差。为了解决OGSS,我们通过最小化其上限来分析时空预测模型的真正误差的上限,并最大限度地减少真实误差。通过深入分析,我们发现当模型网格数量从1增加到最大允许值时,真正误差的上限将减少随后增加。然后,我们提出了两种算法,即三元搜索和迭代方法,自动找到最佳网格尺寸。最后,实验验证了预测误差是否具有与其上限相同的趋势,并且实际误差的上限相对于模型网格数量的上限的变化趋势将降低。同时,在一个情况下,通过选择最佳网格尺寸,可以提高最先进的预测算法的订单调度结果高达13.6%,这表明了我们在调整该区域上的方法的有效性用于时空预测模型的分区。
translated by 谷歌翻译
人表皮生长因子受体2(HER2)生物标志物的免疫组织化学(IHC)染色在乳腺组织分析,临床前研究和诊断决策中广泛实践,指导癌症治疗和发病机制调查。 HER2染色需要由组织医学表演表演的艰苦组织处理和化学处理,这通常需要一天,以便在实验室中准备,增加分析时间和相关成本。在这里,我们描述了一种基于深度学习的虚拟HER2 IHC染色方法,其使用条件生成的对抗网络培训,训练以便将未标记/标记的乳房组织部分的自发荧光显微镜图像快速转化为明亮场当量的显微镜图像,匹配标准HER2 IHC染色在相同的组织部分上进行化学进行。通过定量分析证明了这一虚拟HER2染色框架的功效,其中三个董事会认证的乳房病理学家盲目地评级了HER2的几乎染色和免疫化化学染色的HER2整个幻灯片图像(WSIS),揭示了通过检查虚拟来确定的HER2分数IHC图像与其免疫组织化学染色的同类一样准确。通过相同的诊断师进行的第二种定量盲化研究进一步揭示了几乎染色的HER2图像在核细节,膜清晰度和染色伪像相对于其免疫组织化学染色的对应物的染色伪影等级具有相当的染色质量。这种虚拟HER2染色框架在实验室中绕过了昂贵,费力,耗时耗时的IHC染色程序,并且可以扩展到其他类型的生物标志物,以加速生命科学和生物医学工作流程的IHC组织染色。
translated by 谷歌翻译